#рекуррентная память05.05.2025
RWKV-X: Революция в моделировании длинных контекстов с помощью разреженного внимания и рекуррентной памяти
RWKV-X представляет гибридную модель, объединяющую разреженное внимание и рекуррентную память для эффективного декодирования очень длинных последовательностей с линейной сложностью, превосходя предыдущие модели RWKV в задачах с длинным контекстом.